Regresja logistyczna

Regresja logistyczna jest jedną z podstawowych statystycznych metod analizy danych, używaną do modelowania zależności pomiędzy zmienną zależną a jedną lub wieloma zmiennymi niezależnymi, gdy zmienna zależna przyjmuje wartości dyskretne, najczęściej binarne (0 lub 1). Model ten jest szczególnym przypadkiem modelu probabilistycznego i zalicza się do rodziny metod regresji.

Historia

Podstawy teoretyczne regresji logistycznej zostały po raz pierwszy opisane pod koniec XIX wieku przez Pierre’a Fermata i Johna F. Schultz’a. W latach 1950–1960 model ten zyskał popularność w biostatystyce dzięki pracom Davida Robina i George’a Tukeya. W kolejnych dekadach, zwłaszcza od 1990 roku, regresja logistyczna stała się standardowym narzędziem w analizie danych oraz w uczeniu maszynowym.

Model matematyczny

Podstawowym elementem regresji logistycznej jest funkcja logistyczna (funkcja sigmoidalna):

p(x) = \frac{1}{1 + e^{- (β_0 + β_1 x_1 + … + β_k x_k)}}

gdzie:

p(x) – prawdopodobieństwo, że zmienna zależna przyjmie wartość 1 przy danym wektorze predyktorów x = (x_1, …, x_k);
β_0, β_1, …, β_k – parametry modelu (współczynniki regresji);
e – podstawa logarytmu naturalnego.

Logit, czyli logarytm ilorazu szans, jest liniową funkcją predyktorów:

logit(p) = \ln\left(\frac{p}{1-p}\right) = β_0 + β_1 x_1 + … + β_k x_k

Estymacja parametrów

Parametry β szacuje się najczęściej metodą maksymalnego prawdopodobieństwa (Maximum Likelihood Estimation – MLE). Procedura polega na maksymalizacji funkcji wiarygodności:

L(β) = \prod_{i=1}^{n} p(x_i)^{y_i} [1-p(x_i)]^{1-y_i}

gdzie y_i to obserwowana wartość zmiennej zależnej. Ze względu na brak zamkniętej formy rozwiązania, zwykle stosuje się iteracyjne algorytmy, takie jak algorytm Newtona–Raphsona lub metoda iteracyjnie ważonych najmniejszych kwadratów (IWLS).

Interpretacja współczynników

Współczynnik β_j określa zmianę logitu przy jednostkowej zmianie zmiennej x_j, przy założeniu niezmienności pozostałych zmiennych. Przekształcenie do współczynnika szans (ang. odds ratio) daje:

OR_j = e^{β_j}

Wartość OR_j > 1 wskazuje, że wzrost x_j zwiększa szansę wystąpienia zdarzenia (y = 1), a OR_j < 1 – zmniejsza.

Zastosowania

Regresja logistyczna znajduje szerokie zastosowanie w różnych dziedzinach:

medycyna – ocena ryzyka zachorowania (choroby sercowo-naczyniowe, nowotwory);
ekonomia – prognozowanie zachowań konsumentów;
marketing – klasyfikacja klientów pod kątem prawdopodobieństwa zakupu;
biologia – klasyfikacja gatunków na podstawie cech morfologicznych;
informatyka – modele klasyfikacji w uczeniu maszynowym (np. klasyfikator binarny).

Zalety i ograniczenia

Zalety

Łatwość interpretacji współczynników w postaci ilorazu szans;
Możliwość modelowania zarówno zmiennych ciągłych, jak i kategorycznych;
Stabilność przy niewielkich próbkach danych;
Bezpośrednie wyjście w postaci prawdopodobieństwa.

Ograniczenia

Zakłada liniowość logitu względem predyktorów – w praktyce wymaga transformacji zmiennych lub wprowadzenia interakcji;
Wrażliwość na silną korelację pomiędzy zmiennymi niezależnymi (multikolinearność);
Model nie radzi sobie dobrze z bardzo nierównomiernym rozkładem klas (problem danych niezbalansowanych).

Powiązane pojęcia

W kontekście regresji logistycznej często omawiane są następujące tematy:

Regresja – ogólna rama modeli predykcyjnych;
Analiza wariancji (ANOVA) – porównanie modeli;
Krzywa ROC i pole pod krzywą (AUC) – miary jakości klasyfikacji;
Regularizacja (L1, L2) – zapobieganie przeuczeniu;
Model wielowymiarowy – rozszerzenia do więcej niż dwóch klas (regresja wieloklasowa).

Literatura

Podstawowe pozycje omawiające regresję logistzną:

Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. Applied Logistic Regression, 3rd ed., Wiley, 2000 rok.
Agresti, A. Statistical Methods for the Social Sciences, 8th ed., Pearson, 2020.
Friedman, J., Hastie, T., & Tibshirani, R. The Elements of Statistical Learning, Springer, 2001.